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Beschreibung 

Erweiterung des Kameragesichtsf eldes durch Scannen 

5 Die Erfindung betrifft ein Verfahren gemSli dem Oberbegriff 
des Patentanspruchs 1. 

Ein solches Verfahren .kann beispielsweise zur Gewinnung eines 
Panoramabildes oder auch zum Abtasten von Dokumenten einge- 
10 setzt werden. 



Der durch Kamera und Objektiv vorgegebene Raumwinkel, der 
durch ein Bild abgetastet beziehungsweise aufgenommen wird, 
reicht in vielen Situationen nicht aus, urn Objekte aus der. 

15 Umgebung vollstandig zu erfassen. Die Verwendung besonders 

weitwinkliger Objektive zur vollstSndigen Aufnahme der Objek- 
te ist nicht immer iaGglich und auch nicht immer gewttnscht. 
Ein sehr weitwinkliges Objektiv verursacht durch die Eigen- 
schaften der Linse extreme Verzerrungen in den Bildrandberei- 

20 chen, die den Eindruck in einem erheblichen MaJJe stOren. Au- 
Berdem wird die Qualitat der Objektdarstellung durch die li- 
mitierte Sensorauf losung gestSrt. In vielen Fallen ist aber 
auch das Austauschen der Linse / des Objektives nicht mog- 
lich, weil diese Komponente fest mit der Kamera- integriert 

25 ist. 



Es sind bereits eine Vielzahl von Verfahren realisiert wor- 
den, die sich mit einer ahnlichen Themenstellung befasst ha- 
ben. Der Schwerpunkt der Betrachtung lag hierbei haufig in 

30 der Generierung von Panoramabildern. Die bekannten Verfahren . 
zur Generierung von Bildern eines grQfceren Gesichtsf eldes er- 
fordern zur Korrektur der Sensorfehler aber sehr aufwendige 
und komplexe Rechenoperationen zur Korrektur der Linsen- und 
Abbildungsf ehler, die sich nicht in Videoechtzeit realisieren 

35 lassen. Eine Berechnung eines Bildes mit einem erweiterten 
Gesichtsf eld kann aus diesem Grund in der Regel nur offline 
durchgeftihrt werden. <Av± * \ / 
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Die zur Generierung des Ergebnisbildes verwendeten Bilder be- 
not igen bei diesen Verfahren nur einen geringen Oberlapp. 
Zwei zueinander benachbarte Bilder beziehungsweise • zwei auf- 
5 einanderfolgende Bilder enthalten in diesem Fall nur wenig 
gemeinsame Bildinformation. In Abhangigkeit der Umgebung be- 
sitzen die Bilder integral somit aber ganz unterschiedliche 
Beleuchtungsverhaitnisse. Durch eine Blendenregelung der Ka- 
mera ftihrt dies jedoch zu extrem unterschiedlichen Ausleuch- 
10 tungen an den zusammengefugten Bildkanten, die ebenfalls nur 
unter sehr hohem Aufwand wieder harmonisiert werden konnen. 

Faxgerate und Flachbettscanner ermoglichen die elektronische 
Ubermittlung von Dokumenten die in Papierform vorliegen. In 

15 vielen Situationen ist die Verftigbarkeit dieser Ger&te, wie 
zum Beispiel wahrend einer Bfesprechung, nicht immer gewahr- 
leistet. Eine Alternative zur Verwendung eines FaxgerStes o- 
der eines Flachbrettscanners ist eine digitale Kamera f mit 
der sich die Bildinformation ebenfalls in digitaler Form ab- 

.20 speichern lasst. Die Auflosung handelstiblicher Kaiaeras reicht 
jedoch noch nicht aus, um eine ausreichende Auflosung des Do- 
kuments mit einer Einzelaufnahme zu erzeugen. 

Das Scannen von Dokumenten durch eine Vielzahl von Einzelbil- 
25 dern bei geringem Abstand zum Dokument zur Steigerung der 

AuflOsung ist ein bekannter Ansatz. Es gibt bisher nur wenige 
und zum Teil sehr instabile Verfahren, die dazu verwendet 
werden k5nnen, um aus den auf gezeichneten Einzelbildern wie- 
der ein zweidimensionales Gesamtbild zusammenzusetzen. 

30 

Die meisten Verfahren basieren darauf, dass die Bildinforma- 
tion in einem ersten Verarbeitungsschritt durch sehr komplexe 
Rechenoperationen zunachst entzerrt werden* In einem darauf- 
folgenden Verarbeitungsschritt wird dann die angrenzeride 
35 Bildinformation zu benachbarten Bildern in alle vier Bildkan- 
tenrichtungen harmonisiert. Die Bilder benOtigen hierzu nur 
einen geringen Oberlapp. Jedes Bild wird sowohl horizontal 
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als auch vertikal zu benachbarten Bildern korrigiert. Neben 
der kaum zu tolerierenden hohen Rechenzeit ftihren diese Ver- 
fahren hSufig zu rautenformigen Verzerrung der Bildinformati- 
on, die fUr den Betrachter sehr storend sind (siehe Figur 1) . 
5 Die Verfahren sind aufgrund ihrer Komplexitat h&ufig nur in- 
ter aktiv und offline durchzuftthren. 

Der Erfindung liegt die Aufgabe zugrunde ein Verfahren der 
eingangs genannte Art anzugeben, das ohne hohe Rechenleistung 
10 eine gute Qualitat des Ergebnisbildes liefert. 

Diese Aufgabe wird erf indungsgeiaSB durch die im Patentan- 
spruch- 1 angegebenen Merkmale gelost. 

15 Das erf indungsgemaJB Verfahren weist folgende Vorteile auf : 

• Schnelligkeit der Verarbeitung 

• Eine rechenintensive Korrektur der Linsen- beziehungsweise 
Abbildungsfehler im Bild ist nicht erforderlich 

20 • Harmonisierung der Beleuchtungssituation an zusammengeftig- 
ten Kanten ist durch quasi kontinuierliche Bildabtastung 
nicht erforderlich 

• Steuerung der additiv hinzukommenden Bildinf ormation in 
Abhangigkeit des Bildversatzes. 

25 

Im folgenden Wird die Erfindung anhand eines in der Zeichnung 
dargestellten Ausftihrungsbeispieles naher beschrieben. Dabei 
zeigen: 

30 Figur 1 ein aus Einzelauf nahmen erstelltes Gesamtbild gemafl 
dem Stand der Technik, 
Figur 2 ein durch Scannen der Umgebung erzeugtes Ergebnis- 
bild, 

Figur 3 eine Scanbewegung zur Abtastung eines Dokumentes, 
35 Figur 4 die Bildaufnahme bei der Abtastbewegung nach Figur. 2 r 
Figur 5 das Ergebnis auf einanderfolgender eindimensionaler 
Scans # und 
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Figur 6 das Ergebnisbild nach dem erf indungsgemafi Verfahren. 

Das erf indungsgemafi Verfahren geht von der Erzeugung von Ein- 
zelbildern aus, die bei einer ein- oder bei einer zweidimen- 
5 sionalen Scan- oder Abtastbewegung generiert werden 

Erf indungsgemafi werden Einzelbilder generiert, die zueinander 
einen hohen Oberlappungsgrad aufweisen. Hierdurch wird ein 
Gesamtbild erzeugt, das nahezu keine Verzerrungen aufweist 
10 und einen sehr grofien Raumwinkel abdeckt • Das Verfahren er- 
m5glicht es beispielsweise Panoramabilder zu erzeugen oder 
auch Dokumente mit einer hohen AuflSsung einzuscannen. 

Der Bildsensor arbeitet dabei beispielsweise mit voller Ab- 
15 tastf requenz, so dass benachbarte Bilder durch einen langsa- 
men Schwenk tiber das zu erfassende Objekt nur einen geringen 
Versatz zueinander aufweisen* Von jedem Bild wird ein Teil 
der unverzerrten Bildinf ormation aus der Bildmitte in ein Er- 
gebnisbild kopiert. Die GrGfie des kopierten Bildausschnittes 
20 wird in Abhangigkeit des errechneten Versatzes zu dem vorher- 
gehenden Bild gesteuert. Da zwei benachbarte Bilder einen 
sehr hohen Oberlapp aufweisen-, besitzen die Bilder "nahezu i- 
dentische Beleuchtungsverhaitnisse, so dass beim Zusammenfti- 
gen benachbarter Bildkanten in der Regel keine -Harmonisierung 
25 der Ausleuchtung erforderlich ist. 

Zu Durchftlhrung des erf indungsgemafien Verfahrens wird bei- 
spielsweise ein Handy benutzt, das folgende Komponenten auf- 
weist: 

30 • Kameramodul auf der Rtickseite des Handys zur Aufzeichnung 

von Bilder aus der Umgebung 
• Prozessor zur Verarbeitung der Bilddaten und zur Generie- . 

rung des Ergebnisbildes, (Bewegungsschatzung, Bildkomposi- 

tion, usw.) 
35 • Display zur Bildanzeige 




. 200206703 



5 

Die Funktion zur Generierung cles Ergebnisbildes (siehe auch 
Figur 2) auf der Basis einer Bildsequenz umfasst im wesentli- 
chen folgende Verarbeitungsschritte: 

5 • Bewegungsschatzung zweier benachbarter Bilder 
• Aufbau des Ergebnisbildes 

In den folgenden Abschnitten werden die Verfahren in den ein- 
zelnen Verarbeitungsschritten unter der Vereinfachung nSher 
10 erlautert, dass der Scan der Umgebung eindimensional von 
rechts nach links erfolgt: 

1) Bewegungsschatzung zweier benachbarter Bilder 

15 Die Bewegung von zwei benachbarten Bildern wird beispielswei- 
se nach dem MSE (Mean Squared Error) Verfahren bestimmt. Bei 
diesem Verfahren wird ftlr ein Bildbereich des Ausgangsbildes 
der best moglichste Match in einer lokalen Nachbarschaf t zu 
dem vorherigen Bild gesucht. Durch den besten Match ist der 

20 Verschiebungsvektor der beiden Bilder relativ zueinander ge- 
geben. 

2) Aktualisierung des Ergebnisbildes 

25 Auf der Basis des Verschiebungsvektors wird die Position in- 
nerhalb des Ergebnisbildes ermittelt, an die die hinzukommen- 
de Bildinformation kopiert wird. Die Breite des hinzukommen- 
den Bildausschnittes des Ausgangsbildes ist durch den Versatz 
der Bilder in Scanrichtung (x Richtung) gegeben. In der Weise 

30 entsteht keine LUcke zwischen dem schon aufgebauten und dem 
hinzugeftlgten Bildausschnitt . Senkrecht zur Scanrichtung (y 
Richtung) wird die voile Bildinformation berUcksichtigt . .Das . 
Ergebnis der Verarbeitung vieler Bilder nach diesem Verfahren 
ist in Figur 1 zu sehen. 

35 

Bei einer Weiterbildung des erf indungsgemaii Verfahrens er- 
folgt das Scannen des Dokumentes durch eine Zick-Zack Bewe- 
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gung der Kamera uber das Dokument in einem konstanten Abstand 
(siehe .Figur 3) . Um Variationen des Abstands zum Dokument und 
damit Grofienanderungen in den Bildern wahrend des Scanvor- 
gangs zu vermeiden, wird die Kamera beispielsweise auf einem 
5 Gestell uber das Dokument gefuhrt, bei dem die Kamera senk- 
recht nach unten ausgerichtet ist. Durch eine Bewegungsanaly- 
se aufeinanderfolgender Bilder wird der zweidimensionale Scan 
in mehrere eindimensionale (horizontale) Scans zerlegt (siehe 
Figuren 4 und 5).. Jeder eindimensionale Scan zeigt einen ho- 

10 rizontalen* unverzerrten Streifen des Originaldokuments. 

Durch die Zerlegung des zweidimensionalen Scans in mehrere 
eindimensionale Scans reduziert sich das Problem der Dokumen- 
tengenerierung auf das horizontale Skalieren der Bildstreifen 
und das Zusammenf iigen der Horizontalstreifen in vertikaler 

15 Richtung (siehe Figur 5) . Durch das lineare Skalieren der ge- 
samten Bildinf ormation werden rautenfbrmige Verzerrungen im. 
Gesamtbild vermieden, wie sie bei herkommlichen Verfahren 
auftreten (siehe Figur 6) . 



20 
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Patentansprtiche 

l.Verfahren zur Gewinnung eines Ergebnisbildes unter Verwen- 
dung einer Mehrzahl von Einzelbildern, die nacheinander bei 
5 einer Scanbewegung erzeugt werden, 

dadurch gekennzeichnet dass 
die aufeinanderfolgenden Einzelbilder gegeneinander jeweils 
einen geringen Versatz aufweisen, wobei in AbhSngigkeit vom 
Versatz eine Bildinf ormation aus den Einzelbildern gewonnen 
10 und in das Ergebnisbild kopiert wird. 



2. Verfahren nach Anspruch 1, 

dadurch gekennzeichnet dass 
die Scanbewegung zweidimensional ausgeftihrt wird. 



15 
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Zusammenfassung 

Erweiterung des Kameragesichtsf eldes durch Scannen 



5 Die Erfindung betrif ft ein Verfahren zur Gewinnung eines Er- 
gebnisbildes unter Verwendung einer Mehrzahl von Einzelbil- 
dern,. die nacheinander bei einer Scanbewegung erzeugt werden. 
Erfindungsgemafi weisen die auf einanderfolgenden Einzelbilder 
gegeneinander jeweils einen geringen Versatz auf, wobei in 
10 AbhSngigkeit vom Versatz eine Bildinf ormation aus den Einzel- 
bildern gewonnen und in das Ergebnisbild kopiert wird. 



Ergebnis bekannter Ansatze zur Erstellung eines Gesamtbildes aus 
Einzelaufnahmen 




trgebnis der Gerierferung eines Bildes mlterweitertem Gesichtsfeld 



Create new 1 D image Update 1 D image 




TIG if 

Track motion 
without update 



Zerlegung des zweidimensionalen Scans in mehrere eindimensionale Scans 




Ergebnis der eindimensionalen Scans nach Verfahren 20Q1 E20583DE 



•Bgebnis des Gesamtbildes jedoch ohne Korrektur der Streifenskatierung 

TIG 6 
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